Preference Learning

작성자

익명

작성일

2026.07.16

조회수

버전

선호도 학습 (Preference Learning)

1. 개요

선호도 학습(Preference Learning)이란 개별 항목에 대한 절대적인 수치(Score)를 예측하는 대신, 두 개 이상의 항목 간의 상대적인 우선순위나 선호 관계를 학습하는 머신러닝의 한 분야이다.

일반적인 회귀(Regression) 모델이 "이 항목의 점수는 85점이다"라는 절대값을 예측하고, 분류(Classification) 모델이 "이 항목은 A 카테고리에 속한다"라는 레이블을 예측한다면, 선호도 학습은 "사용자는 항목 A보다 항목 B를 더 선호한다"라는 상대적 관계를 학습한다. 인간의 판단은 절대적인 수치보다 상대적인 비교에서 더 일관적이고 정확한 경향이 있기 때문에, 추천 시스템이나 LLM(거대언어모델)의 정렬(Alignment) 과정에서 필수적으로 사용된다.

2. 핵심 원리 및 메커니즘

선호도 학습의 핵심은 입력 데이터의 표현 방식과 이를 확률적으로 모델링하는 수학적 구조에 있다.

2.1 데이터 표현 방식

선호도 데이터는 주로 다음과 같은 방식으로 표현된다.

구분	설명	특징	예시
Pointwise	개별 항목에 대해 독립적으로 점수를 부여	구현이 매우 단순하나, 항목 간 상대적 순위를 반영하기 어려움	$s(A) = 4.5$
Pairwise	두 개의 항목을 쌍으로 묶어 어느 쪽이 더 나은지 결정	구현이 단순하며 데이터 수집이 상대적으로 용이함	$A \succ B$ (A가 B보다 선호됨)
Listwise	여러 항목의 전체적인 순위(Ranking)를 한 번에 학습	전체적인 맥락을 파악할 수 있으나 데이터 구축 비용이 높음	$A \succ B \succ C \succ D$

2.2 수학적 기초

대부분의 선호도 모델은 각 항목 $i$에 대해 잠재적인 가치(Utility)인 스칼라 점수 $s_i$를 부여한다. 두 항목 $i$와 $j$가 있을 때, $i$를 $j$보다 선호할 확률은 보통 시그모이드 함수($\sigma$)를 이용해 다음과 같이 모델링한다. $$P(i \succ j) = \sigma(s_i - s_j) = \frac{1}{1 + e^{-(s_i - s_j)}}$$ 여기서 $s_i$와 $s_j$는 각각 모델이 예측한 항목 $i$와 $j$의 가치 점수를 의미한다.

3. 주요 학습 방법론

3.1 전통적 통계 모델

Bradley-Terry 모델: 두 대상의 상대적 승률을 기반으로 각 대상의 고유한 점수를 추정하는 확률 모델이다. 스포츠 경기 결과 예측이나 단순 투표 데이터 분석에 널리 쓰인다.
Plackett-Luce 모델: Bradley-Terry 모델을 확장하여 여러 항목의 순위(Listwise)를 모델링하는 방식이다.

3.2 딥러닝 기반 기법

최근에는 신경망을 통해 복잡한 특징(Feature)으로부터 선호도 점수 $s$를 추출한다. * RankNet: Pairwise 손실 함수를 사용하여 두 항목의 점수 차이를 최적화하는 모델이다. * LambdaRank: RankNet의 한계인 '점수 최적화가 실제 랭킹 지표(NDCG 등)의 개선으로 이어지지 않는 문제'를 해결하기 위해, 랭킹 지표의 변화량($\lambda$)을 그래디언트에 반영하여 직접적으로 순위 성능을 최적화한다.

4. 학습 데이터셋 구축 방법론

선호도 학습의 성능은 고품질의 비교 데이터셋 확보에 달려 있다.

직접 비교(Direct Comparison): 평가자에게 두 가지 선택지를 제시하고 더 나은 것을 고르게 하는 방식이다. 가장 정확하지만 데이터 수집 비용이 매우 높다.
점수 기반 변환(Score-to-Preference): 개별 항목에 매겨진 별점(Rating) 데이터를 기반으로, 점수가 높은 항목을 선호하는 것으로 간주하여 Pairwise 데이터로 변환하는 방식이다.
암시적 피드백(Implicit Feedback): 사용자의 클릭 로그, 체류 시간, 구매 이력 등을 통해 선호도를 추론한다. (예: A 항목을 클릭하고 B 항목을 무시했다면 $A \succ B$로 간주)
합성 데이터 생성(Synthetic Data): 강력한 LLM(예: GPT-4)을 평가자로 사용하여 다른 모델들의 응답을 비교하게 하는 'AI Feedback' 방식이 최근 각광받고 있다.

5. RLHF 및 최신 최적화 기법

5.1 RLHF (인간 피드백 기반 강화학습)

RLHF는 LLM이 인간의 가치관과 의도에 맞게 응답하도록 정렬(Alignment)하는 프로세스이다.

보상 모델(Reward Model, RM) 학습: 인간이 매긴 선호도 데이터를 학습하여, 특정 응답에 대해 인간이 부여할 점수를 예측하는 모델을 만든다.
PPO(Proximal Policy Optimization) 최적화: 보상 모델로부터 높은 점수를 받는 방향으로 언어 모델의 파라미터를 업데이트한다. 이때 기존 모델에서 너무 멀어지지 않도록 KL-Divergence 제약 조건을 추가한다.

[보상 모델 학습을 위한 손실 함수 의사코드]

def reward_loss(reward_model, chosen_text, rejected_text):
    # 선택된 응답과 거절된 응답에 대한 보상 점수 계산
    r_chosen = reward_model(chosen_text)
    r_rejected = reward_model(rejected_text)
    
    # Bradley-Terry 모델 기반의 Negative Log Likelihood 손실 함수
    # 선택된 응답의 점수가 거절된 응답보다 훨씬 높아야 손실이 감소함
    loss = -torch.log(torch.sigmoid(r_chosen - r_rejected)).mean()
    return loss

5.2 DPO (Direct Preference Optimization)

DPO는 복잡한 보상 모델 학습과 PPO의 불안정성을 해결하기 위해 등장한 최신 기법이다. 보상 모델을 별도로 구축하지 않고, 선호도 데이터에서 직접 정책(Policy)을 최적화한다.

DPO의 핵심은 보상 함수와 최적 정책 사이의 수학적 관계를 이용하여, PPO에서 사용하던 '참조 모델(Reference Model)과의 KL-Divergence' 제약 조건을 손실 함수 내에 직접 내재화한 것이다. 이를 통해 별도의 보상 모델 없이 참조 모델과의 거리만을 이용하여 단순한 분류 손실 함수 형태로 문제를 치환함으로써 학습 효율과 안정성을 획기적으로 높였다.

[DPO 손실 함수] $$\mathcal{L}_{DPO}(\pi_\theta; \pi_{ref}) = -\mathbb{E}_{(x, y_w, y_l) \sim \mathcal{D}} \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)} \right) \right]$$ ($\pi_\theta$: 학습 모델, $\pi_{ref}$: 참조 모델, $y_w$: 선호된 응답, $y_l$: 거절된 응답, $\beta$: KL-Divergence 강도 조절 파라미터)

6. 평가 지표

선호도 학습 모델의 성능은 단순 정확도보다는 순위의 정확성을 측정하는 지표를 사용하며, 평가 목적에 따라 다음과 같이 구분한다.

6.1 Ranking Metrics (리스트 기반 평가)

전체 항목의 순위 리스트가 얼마나 정확한지를 측정한다. * MRR (Mean Reciprocal Rank): 정답(가장 선호하는 항목)이 랭킹 리스트에서 몇 번째에 위치하는지를 측정한다. 정답 순위 역수의 평균값으로, 1에 가까울수록 성능이 좋다. * NDCG (Normalized Discounted Cumulative Gain): 상위 랭크에 더 높은 가중치를 부여하여, 관련성이 높은 항목이 상단에 배치되었는지를 측정하는 지표이다.

6.2 Preference Metrics (쌍 기반 평가)

두 항목 간의 상대적 비교 결과가 얼마나 일치하는지를 측정한다. * Win-rate: 테스트 셋에서 모델이 예측한 선호 결과가 실제 인간의 선호 결과와 일치하는 비율을 측정한다. * Elo Rating: 체스 점수 체계에서 유래한 방식으로, 모델 간의 대결(Pairwise Comparison) 결과를 바탕으로 상대적인 실력 점수를 산출하여 모델의 성능을 정량화한다.

7. 주요 활용 사례

추천 시스템: 넷플릭스나 유튜브에서 사용자가 과거에 선호했던 콘텐츠와 유사한 순위의 콘텐츠를 추천하는 랭킹 모델에 적용된다.
챗봇 응답 최적화: 동일한 질문에 대해 여러 개의 응답 후보를 생성한 후, 가장 자연스럽고 유용한 응답을 선택하는 리랭킹(Re-ranking) 과정에 사용된다.
개인화 서비스: 사용자의 개별적인 취향(Preference)을 학습하여 UI/UX 배치나 콘텐츠 큐레이션을 개인 맞춤형으로 제공한다.

8. 한계점 및 향후 과제

데이터 수집 비용: 고품질의 Pairwise 데이터는 많은 인간 노동력을 필요로 한다. 이를 해결하기 위해 RLAIF(AI Feedback) 연구가 활발하다.
주관성 및 가변성: 선호도는 사람마다 다르며, 시간과 상황에 따라 변한다. 단일한 보상 모델이 모든 사용자를 만족시키기 어렵다는 문제가 있다.
편향(Bias) 문제: 평가자의 편향이 데이터에 반영될 경우, 모델이 특정 성향의 응답만을 생성하는 'Reward Hacking' 현상이 발생할 수 있다. 이를 방지하기 위한 정규화 및 다각적 평가 체계 구축이 필요하다.

📝 마크다운 원본

이 문서의 마크다운 원본 내용입니다.

# 선호도 학습 (Preference Learning)

## 1. 개요
**선호도 학습(Preference Learning)**이란 개별 항목에 대한 절대적인 수치(Score)를 예측하는 대신, 두 개 이상의 항목 간의 상대적인 우선순위나 선호 관계를 학습하는 머신러닝의 한 분야이다.

일반적인 회귀(Regression) 모델이 "이 항목의 점수는 85점이다"라는 절대값을 예측하고, 분류(Classification) 모델이 "이 항목은 A 카테고리에 속한다"라는 레이블을 예측한다면, 선호도 학습은 "사용자는 항목 A보다 항목 B를 더 선호한다"라는 상대적 관계를 학습한다. 인간의 판단은 절대적인 수치보다 상대적인 비교에서 더 일관적이고 정확한 경향이 있기 때문에, 추천 시스템이나 LLM(거대언어모델)의 정렬(Alignment) 과정에서 필수적으로 사용된다.

## 2. 핵심 원리 및 메커니즘
선호도 학습의 핵심은 입력 데이터의 표현 방식과 이를 확률적으로 모델링하는 수학적 구조에 있다.

### 2.1 데이터 표현 방식
선호도 데이터는 주로 다음과 같은 방식으로 표현된다.

| 구분 | 설명 | 특징 | 예시 |
| :--- | :--- | :--- | :--- |
| **Pointwise** | 개별 항목에 대해 독립적으로 점수를 부여 | 구현이 매우 단순하나, 항목 간 상대적 순위를 반영하기 어려움 | $s(A) = 4.5$ |
| **Pairwise** | 두 개의 항목을 쌍으로 묶어 어느 쪽이 더 나은지 결정 | 구현이 단순하며 데이터 수집이 상대적으로 용이함 | $A \succ B$ (A가 B보다 선호됨) |
| **Listwise** | 여러 항목의 전체적인 순위(Ranking)를 한 번에 학습 | 전체적인 맥락을 파악할 수 있으나 데이터 구축 비용이 높음 | $A \succ B \succ C \succ D$ |

### 2.2 수학적 기초
대부분의 선호도 모델은 각 항목 $i$에 대해 잠재적인 가치(Utility)인 스칼라 점수 $s_i$를 부여한다. 두 항목 $i$와 $j$가 있을 때, $i$를 $j$보다 선호할 확률은 보통 시그모이드 함수($\sigma$)를 이용해 다음과 같이 모델링한다.
$$P(i \succ j) = \sigma(s_i - s_j) = \frac{1}{1 + e^{-(s_i - s_j)}}$$
여기서 $s_i$와 $s_j$는 각각 모델이 예측한 항목 $i$와 $j$의 가치 점수를 의미한다.

## 3. 주요 학습 방법론

### 3.1 전통적 통계 모델
*   **Bradley-Terry 모델**: 두 대상의 상대적 승률을 기반으로 각 대상의 고유한 점수를 추정하는 확률 모델이다. 스포츠 경기 결과 예측이나 단순 투표 데이터 분석에 널리 쓰인다.
*   **Plackett-Luce 모델**: Bradley-Terry 모델을 확장하여 여러 항목의 순위(Listwise)를 모델링하는 방식이다.

### 3.2 딥러닝 기반 기법
최근에는 신경망을 통해 복잡한 특징(Feature)으로부터 선호도 점수 $s$를 추출한다.
*   **RankNet**: Pairwise 손실 함수를 사용하여 두 항목의 점수 차이를 최적화하는 모델이다.
*   **LambdaRank**: RankNet의 한계인 '점수 최적화가 실제 랭킹 지표(NDCG 등)의 개선으로 이어지지 않는 문제'를 해결하기 위해, 랭킹 지표의 변화량($\lambda$)을 그래디언트에 반영하여 직접적으로 순위 성능을 최적화한다.

## 4. 학습 데이터셋 구축 방법론
선호도 학습의 성능은 고품질의 비교 데이터셋 확보에 달려 있다.

1.  **직접 비교(Direct Comparison)**: 평가자에게 두 가지 선택지를 제시하고 더 나은 것을 고르게 하는 방식이다. 가장 정확하지만 데이터 수집 비용이 매우 높다.
2.  **점수 기반 변환(Score-to-Preference)**: 개별 항목에 매겨진 별점(Rating) 데이터를 기반으로, 점수가 높은 항목을 선호하는 것으로 간주하여 Pairwise 데이터로 변환하는 방식이다.
3.  **암시적 피드백(Implicit Feedback)**: 사용자의 클릭 로그, 체류 시간, 구매 이력 등을 통해 선호도를 추론한다. (예: A 항목을 클릭하고 B 항목을 무시했다면 $A \succ B$로 간주)
4.  **합성 데이터 생성(Synthetic Data)**: 강력한 LLM(예: GPT-4)을 평가자로 사용하여 다른 모델들의 응답을 비교하게 하는 'AI Feedback' 방식이 최근 각광받고 있다.

## 5. RLHF 및 최신 최적화 기법

### 5.1 RLHF (인간 피드백 기반 강화학습)
RLHF는 LLM이 인간의 가치관과 의도에 맞게 응답하도록 정렬(Alignment)하는 프로세스이다.

1.  **보상 모델(Reward Model, RM) 학습**: 인간이 매긴 선호도 데이터를 학습하여, 특정 응답에 대해 인간이 부여할 점수를 예측하는 모델을 만든다.
2.  **PPO(Proximal Policy Optimization) 최적화**: 보상 모델로부터 높은 점수를 받는 방향으로 언어 모델의 파라미터를 업데이트한다. 이때 기존 모델에서 너무 멀어지지 않도록 KL-Divergence 제약 조건을 추가한다.

**[보상 모델 학습을 위한 손실 함수 의사코드]**
```python
def reward_loss(reward_model, chosen_text, rejected_text):
    # 선택된 응답과 거절된 응답에 대한 보상 점수 계산
    r_chosen = reward_model(chosen_text)
    r_rejected = reward_model(rejected_text)
    
    # Bradley-Terry 모델 기반의 Negative Log Likelihood 손실 함수
    # 선택된 응답의 점수가 거절된 응답보다 훨씬 높아야 손실이 감소함
    loss = -torch.log(torch.sigmoid(r_chosen - r_rejected)).mean()
    return loss
```

### 5.2 DPO (Direct Preference Optimization)
DPO는 복잡한 보상 모델 학습과 PPO의 불안정성을 해결하기 위해 등장한 최신 기법이다. 보상 모델을 별도로 구축하지 않고, **선호도 데이터에서 직접 정책(Policy)을 최적화**한다.

DPO의 핵심은 보상 함수와 최적 정책 사이의 수학적 관계를 이용하여, PPO에서 사용하던 '참조 모델(Reference Model)과의 KL-Divergence' 제약 조건을 손실 함수 내에 직접 내재화한 것이다. 이를 통해 별도의 보상 모델 없이 참조 모델과의 거리만을 이용하여 단순한 분류 손실 함수 형태로 문제를 치환함으로써 학습 효율과 안정성을 획기적으로 높였다.

**[DPO 손실 함수]**
$$\mathcal{L}_{DPO}(\pi_\theta; \pi_{ref}) = -\mathbb{E}_{(x, y_w, y_l) \sim \mathcal{D}} \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)} \right) \right]$$
($\pi_\theta$: 학습 모델, $\pi_{ref}$: 참조 모델, $y_w$: 선호된 응답, $y_l$: 거절된 응답, $\beta$: KL-Divergence 강도 조절 파라미터)

## 6. 평가 지표
선호도 학습 모델의 성능은 단순 정확도보다는 순위의 정확성을 측정하는 지표를 사용하며, 평가 목적에 따라 다음과 같이 구분한다.

### 6.1 Ranking Metrics (리스트 기반 평가)
전체 항목의 순위 리스트가 얼마나 정확한지를 측정한다.
*   **MRR (Mean Reciprocal Rank)**: 정답(가장 선호하는 항목)이 랭킹 리스트에서 몇 번째에 위치하는지를 측정한다. 정답 순위 역수의 평균값으로, 1에 가까울수록 성능이 좋다.
*   **NDCG (Normalized Discounted Cumulative Gain)**: 상위 랭크에 더 높은 가중치를 부여하여, 관련성이 높은 항목이 상단에 배치되었는지를 측정하는 지표이다.

### 6.2 Preference Metrics (쌍 기반 평가)
두 항목 간의 상대적 비교 결과가 얼마나 일치하는지를 측정한다.
*   **Win-rate**: 테스트 셋에서 모델이 예측한 선호 결과가 실제 인간의 선호 결과와 일치하는 비율을 측정한다.
*   **Elo Rating**: 체스 점수 체계에서 유래한 방식으로, 모델 간의 대결(Pairwise Comparison) 결과를 바탕으로 상대적인 실력 점수를 산출하여 모델의 성능을 정량화한다.

## 7. 주요 활용 사례
*   **추천 시스템**: 넷플릭스나 유튜브에서 사용자가 과거에 선호했던 콘텐츠와 유사한 순위의 콘텐츠를 추천하는 랭킹 모델에 적용된다.
*   **챗봇 응답 최적화**: 동일한 질문에 대해 여러 개의 응답 후보를 생성한 후, 가장 자연스럽고 유용한 응답을 선택하는 리랭킹(Re-ranking) 과정에 사용된다.
*   **개인화 서비스**: 사용자의 개별적인 취향(Preference)을 학습하여 UI/UX 배치나 콘텐츠 큐레이션을 개인 맞춤형으로 제공한다.

## 8. 한계점 및 향후 과제
*   **데이터 수집 비용**: 고품질의 Pairwise 데이터는 많은 인간 노동력을 필요로 한다. 이를 해결하기 위해 RLAIF(AI Feedback) 연구가 활발하다.
*   **주관성 및 가변성**: 선호도는 사람마다 다르며, 시간과 상황에 따라 변한다. 단일한 보상 모델이 모든 사용자를 만족시키기 어렵다는 문제가 있다.
*   **편향(Bias) 문제**: 평가자의 편향이 데이터에 반영될 경우, 모델이 특정 성향의 응답만을 생성하는 'Reward Hacking' 현상이 발생할 수 있다. 이를 방지하기 위한 정규화 및 다각적 평가 체계 구축이 필요하다.

AI 생성 콘텐츠 안내

이 문서는 AI 모델(gemma-4-31b)에 의해 생성된 콘텐츠입니다.

주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.

위키너와나